许多注册方法都存在着早期工作,重点是基于优化的图像对方法。最近的工作着重于深度注册网络,以预测空间转换。在这两种情况下,通常使用的非参数登记模型,该模型估计转换功能而不是低维转换参数,都需要选择合适的正常器(鼓励平滑转换)及其参数。这使得模型难以调整,并将变形限制为所选正规器允许的变形空间。尽管存在不正常转换的光流的深度学习模型,而是完全依赖于数据,这些模型可能不会产生对医学图像注册期望的差异转换。因此,在这项工作中,我们在无监督的图标深度学习登记方法上开发了Gradicon,该方法仅使用逆矛盾进行正则化。但是,与图标相反,我们证明并从经验上验证,使用梯度反矛盾损失不仅显着改善了收敛性,而且还会导致所得转换图的类似隐式正则化。磁共振(MR)膝关节图像和计算机断层扫描(CT)肺图像的合成实验和实验表明Gradicon的表现出色。我们在保留简单的注册公式的同时,实现了最新的(SOTA)精度,这实际上很重要。
translated by 谷歌翻译
不平衡最佳传输(UOT)扩展了最佳传输(OT),以考虑质量变化以比较分布。这是使IT在ML应用程序中成功的至关重要,使其对数据标准化和异常值具有强大。基线算法陷入沉降,但其收敛速度可能比OT更慢。在这项工作中,我们确定了这种缺陷的原因,即缺乏迭代的全球正常化,其等效地对应于双口电的翻译。我们的第一款贡献利用了这种想法来开发一种可怕的加速陷阱算法(为UOT开发了一种可怕的陷阱算法(创建了“翻译不变的烟囱”),弥合了与OT的计算间隙。我们的第二次贡献侧重于1-D UOT,并提出了一个适用于这种翻译不变制剂的弗兰克 - 沃尔夫求解器。每个步骤的线性oracle都能求解1-D OT问题,从而导致每个迭代的线性时间复杂度。我们的最后贡献将这种方法扩展到计算1-D措施的UOT BaryCenter。数值模拟展示这三种方法带来的收敛速度改进。
translated by 谷歌翻译
过分分度化是没有凸起的关键因素,以解释神经网络的全局渐变(GD)的全局融合。除了研究良好的懒惰政权旁边,已经为浅网络开发了无限宽度(平均场)分析,使用凸优化技术。为了弥合懒惰和平均场制度之间的差距,我们研究残留的网络(RESNET),其中残留块具有线性参数化,同时仍然是非线性的。这种Resnets承认无限深度和宽度限制,在再现内核Hilbert空间(RKHS)中编码残差块。在这个限制中,我们证明了当地的Polyak-Lojasiewicz不等式。因此,每个关键点都是全球最小化器和GD的局部收敛结果,并检索懒惰的制度。与其他平均场研究相比,它在残留物的表达条件下适用于参数和非参数案。我们的分析导致实用和量化的配方:从通用RKHS开始,应用随机傅里叶特征来获得满足我们的表征条件的高概率的有限维参数化。
translated by 谷歌翻译
最近表明,在光滑状态下,可以通过吸引统计误差上限可以有效地计算两个分布之间的平方Wasserstein距离。然而,而不是距离本身,生成建模等应用的感兴趣对象是底层的最佳运输地图。因此,需要为估计的地图本身获得计算和统计保证。在本文中,我们提出了第一种统计$ L ^ 2 $错误的第一批量算法几乎匹配了现有的最低限度用于平滑地图估计。我们的方法是基于解决具有无限尺寸的平方和重构的最佳运输的半双向配方,并导致样品数量的无尺寸多项式速率的算法,具有潜在指数的维度依赖性常数。
translated by 谷歌翻译
基于分数的分歧已被广泛用于机器学习和统计应用。尽管他们的经验成功,但在将它们用于多模式分布时仍观察到了失明问题。在这项工作中,我们讨论了失明问题,并提出了一个新的分歧家庭,可以减轻失明问题。在密度估计的背景下,我们说明了我们提出的差异,与传统方法相比,报告的性能提高了。
translated by 谷歌翻译
自适应交通 - 信号控制的大多数强化学习方法都需要从头开始培训,或在任何新的交叉点上或对道路网络,交通分布或培训期间经历的行为约束进行任何修改后。考虑到1)训练此类方法所需的大量经验,以及2)必须通过与真实的道路网络用户进行探索方式来收集经验,因此缺乏可转移性限制的实验和适用性。最近的方法使学习政策能够概括为看不见的道路网络拓扑和交通分布,从而部分应对这一挑战。但是,文献保持在循环的学习(十字路口的连通性的演变必须尊重周期)和无环(较少约束)策略之间的分配,而这些可转移的方法1)仅与循环约束兼容,2)不启用启用。协调。我们介绍了一种新的基于模型的方法Mujam,该方法首次启用了显式配位,该方法首次启用了显式协调,还通过允许对控制器的约束进行概括,进一步推动概括。在涉及道路网络和培训期间从未经历过的交通设置的零拍传输设置中,以及在曼哈顿控制3,971个交通信号控制器的更大转移实验中,我们表明,Mujam使用环状和无循环约束,均优于范围 - 特异性基准以及另一种可转移方法。
translated by 谷歌翻译
离散状态空间代表了对统计推断的主要计算挑战,因为归一化常数的计算需要在大型或可能的无限集中进行求和,这可能是不切实际的。本文通过开发适合离散可怜的可能性的新型贝叶斯推理程序来解决这一计算挑战。受到连续数据的最新方法学进步的启发,主要思想是使用离散的Fisher Divergence更新有关模型参数的信念,以代替有问题的棘手的可能性。结果是可以使用标准计算工具(例如Markov Chain Monte Carlo)进行采样的广义后部,从而规避了棘手的归一化常数。分析了广义后验的统计特性,并具有足够的后验一致性和渐近正态性的条件。此外,提出了一种新颖的通用后代校准方法。应用程序在离散空间数据的晶格模型和计数数据的多元模型上介绍,在每种情况下,方法论都以低计算成本促进通用的贝叶斯推断。
translated by 谷歌翻译
We propose Multivariate Quantile Function Forecaster (MQF$^2$), a global probabilistic forecasting method constructed using a multivariate quantile function and investigate its application to multi-horizon forecasting. Prior approaches are either autoregressive, implicitly capturing the dependency structure across time but exhibiting error accumulation with increasing forecast horizons, or multi-horizon sequence-to-sequence models, which do not exhibit error accumulation, but also do typically not model the dependency structure across time steps. MQF$^2$ combines the benefits of both approaches, by directly making predictions in the form of a multivariate quantile function, defined as the gradient of a convex function which we parametrize using input-convex neural networks. By design, the quantile function is monotone with respect to the input quantile levels and hence avoids quantile crossing. We provide two options to train MQF$^2$: with energy score or with maximum likelihood. Experimental results on real-world and synthetic datasets show that our model has comparable performance with state-of-the-art methods in terms of single time step metrics while capturing the time dependency structure.
translated by 谷歌翻译
Simulator-based models are models for which the likelihood is intractable but simulation of synthetic data is possible. They are often used to describe complex real-world phenomena, and as such can often be misspecified in practice. Unfortunately, existing Bayesian approaches for simulators are known to perform poorly in those cases. In this paper, we propose a novel algorithm based on the posterior bootstrap and maximum mean discrepancy estimators. This leads to a highly-parallelisable Bayesian inference algorithm with strong robustness properties. This is demonstrated through an in-depth theoretical study which includes generalisation bounds and proofs of frequentist consistency and robustness of our posterior. The approach is then assessed on a range of examples including a g-and-k distribution and a toggle-switch model.
translated by 谷歌翻译
时间序列数据通常由异常值或其他类型的异常损坏。识别异常点可以是其自身(异常检测)的目标,或提高其他时间序列任务的性能的手段(例如预测)。最近基于深度学习的异常检测和预测的方法通常假设训练数据中的异常比例足够小以忽略,并将未标记的数据从名义数据分布中视为。我们为增强现有时间序列模型提出了一种简单而有效的技术,以便在培训数据中明确地解释异常。通过使用蒙特卡洛EM使用蒙特卡洛EM训练潜在模型的潜在异常指示变量来增加潜在异常指标变量,我们的方法同时介绍异常点,同时提高标称数据的模型性能。我们通过将其与简单的前锋预测模型相结合来证明该方法的有效性。我们调查火车集中的异常程度如何影响预测模型的培训,这些模型通常用于时间序列异常检测,并表明我们的方法改善了模型的培训。
translated by 谷歌翻译